Phường Long Sơn trước đây vốn là xã Nghĩa Hòa thuộc huyện Nghĩa Đàn.

Ngày 15 tháng 11 năm 2007, thị xã Thái Hòa được thành lập từ một phần diện tích và dân số của huyện Nghĩa Đàn, xã Nghĩa Hòa thuộc thị xã Thái Hòa. Đồng thời, một phần diện tích và dân số của xã Nghĩa Hòa được tách ra để thành lập phường Long Sơn thuộc thị xã Thái Hòa.[1]

Sau khi thành lập, phường Long Sơn có 424,7 ha diện tích tự nhiên và 4.541 người. Xã Nghĩa Hòa còn lại 1.194,93 ha diện tích tự nhiên và 2.332 người.

Đến năm 2018, phường Long Sơn có diện tích 5,50 km², dân số là 4.900 người, mật độ dân số đạt 891 người/km². Xã Nghĩa Hòa có diện tích 10,80 km², dân số là 2.300 người, mật độ dân số đạt 213 người/km².

Ngày 17 tháng 12 năm 2019, Ủy ban Thường vụ Quốc hội ban hành Nghị quyết 831/NQ-UBTVQH14 về việc sắp xếp các đơn vị hành chính cấp xã thuộc tỉnh Nghệ An (nghị quyết có hiệu lực từ ngày 1 tháng 1 năm 2020)[3]. Theo đó, sáp nhập toàn bộ diện tích và dân số của xã Nghĩa Hòa vào phường Long Sơn.